LM Studio を試す
ところが、mac だとユニファイドメモリってやつで RAM と VRAM が共用できる？(詳しいことは知らない)らしいことを知り、ちょっとやってみるかと 調べてみると LM Studio ってやつだと GUI があって Stable Diffusion の Matrix みたいに管理できるらしい(といいつつ別にそっちも使ったことあるわけではないが) これまでの経験から生成は多少 CUI でなんとかするターンがあったんだけど、コイツはもう本当に GUI で完結してすごいなとおもった(素朴な感想) とりあえず llama のモデルをポチって実行してみるの図 https://gyazo.com/8882614020bb6890e17579f267c7b1ac
ただなんか西洋ソフトでありがちな IME の変換エンターで送信されてしまう問題を抱えていて困った 一旦他のテキストエリアで入力してコピペしているけど...
command-r ってのを試してみたくて、Q4 がギリいけるかもって表記だったので試してみたけど
https://gyazo.com/49a8a59ebde0f794a97e3ea034358aa9
まあ、ダメだよな
Q3_K_S
https://gyazo.com/99a84c336592fed129fecf27f7b6f1f1
ローカルLLMってウェブを見に行くことはできるのか？
https://gyazo.com/972938bc7a2105b829c718c7a807307b
途中からやや怪しいけどこいつはすげえや
システムプロンプトを変えてみる遊び
https://gyazo.com/ee038bd9a154b2acb3dcb8ee7311f6ec
まあどんなプロンプトかはご想像にお任せします
ちょうど昨日スジの人と話してて「メモリ単価はイイかもしれんけど Apple Silicon は単純にデバフやろ」とのことだったが、ただ使ってるだけニンゲンからしてみると特に困りは感じないかなあ 今使ってる Mac Studio は Apple Silicon だと Intel 時代よりも省メモリだな、という体感があったのもあって素直に32GBにしてしまった しかしまあ、メモリを128GBぐらいにしようとすると72万かあ.......
M2 の Mac Studio をノコノコ買おうとはおもわんが、次期バージョンが出るとしてそれは M3 Max/Ultra のコアになるんだろうか？ M4 Max/Ultra だったら思い切って買い替える説は果たしてあるのか.....